，爬取竞品平台的数据，后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧。 其他语言 很多语言也都可以开发爬虫，但是均都不是很全面，根据实际技术栈和开发场景去使用，语言只是工具，思路才是通用的 爬虫必备技巧 做爬虫开发，需要对WEB这块有相对全面深入的理解，这样后面遇到反爬虫才能得心应手 里 数据在JS代码中：查看页面HTML源代码，如果获取数据不在HTML里，又没有请求数据API，可以看下数据是不是绑定到JS变量里 会部署 可以部署到Windows或者Linux服务器，使用工具进行爬虫进程监控 ，然后进行定时轮训爬取 反爬虫对抗技巧 反爬虫可以分为服务端限制和前端限制 服务端限制：服务器端行请求限制，防止爬虫进行数据请求 前端限制：前端通过CSS和HTML标签进行干扰混淆关键数据，防止爬虫轻易获取数据 签名规则（服务端限制） 如果是JS发起的请求，签名规则可以在JS函数中找到，然后再根据规则去构造签名 如果是APP发起的请求，可能是前端调用原生封装的方法，或者原生发起的，这个就比较无解，需要反编译APP